#不同的文档使用不同的加载器
# txt TextLoader
# pdf pyPDFLoader  (pip install pypdf)
# csv CSCLoader
# json JSONLoader (pip install jq) 安装jq一个轻量级的json解析器包括过滤 映射
# html UnstructuredHTMLLoader
# md UnstructuredMarkdownLoader
# 目录 TextDirectoryLoader
from langchain_community.document_loaders import TextLoader, PyPDFLoader, JSONLoader


#创建好加载器实例后，都需要调用load()方法，在内存返回一个list[Document]

#加载TXT文档
def fun_1():
    loader = TextLoader(file_path="F:/data/1.txt", encoding="utf-8")
    documents = loader.load()
    print(documents[0].page_content)

#fun_1()

#加载PDF文档
def fun_2():
    loader = PyPDFLoader(file_path="F:/data/1.pdf")
    documents = loader.load()
    print(len(documents))
    print(documents[0].page_content)

#fun_2()

#加载JSON文档
def fun_3():
    loader = JSONLoader(
        file_path="./load.json"
        , jq_schema="."  # jq_schema参数指定了json文件的结构 .表示加载整个json文件 , 如果要取courses里所有内容，可以写.courses[]
        ,text_content=False # text_content参数指定了是否将json文件内容作为文本内容
    )
    documents = loader.load()
    print(documents)

fun_3()